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© Dispositif neuronal et procede pour le construire. 



© En partant d'un dispositif sans neurone cache, on preleve des echantillons quelconques dans un ensemble 
d'echantillons d'apprentissage et on les presente en tant qu'objets a classer. A chaque fois, si la reponse n'est 
pas correcte, un neurone cache (H,) est introduit avec une connexion vers le neurone de sortie (Oj) de la classe 
de I'echantillon, alors que si la reponse est correcte aucun neurone n'est ajoute. Pendant cette phase 
d'introduction des neurones caches les neurones sont repartis en groupes en recherchant pour chacun des 
neurones introduits s'il tombe a I'interieur d'un groupe existant, auquel cas il lui est incorpore, et sinon un 
nouveau groupe est cree autour de lui. L'appartenance a un groupe est definie en fonction de la distance au 
neurone "createur". 

Applications aux systemes de reconnaissance de caracteres. 
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La presente invention concerne un procede pour construire un dispositif neuronal destine au classe- 
ment d'objets, au moyen d'un ensemble d'echantillons d'apprentissage ou exemples qui sont des objets 
dont la classe est connue, chaque objet a classer etant defini par un vecteur d'entree represente par un 
point dans un hyper-espace, le dispositif comportant une couche de neurones d'entree correspondent 

5 chacun a une des dimensions de I'hyper-espace, une couche de neurones caches dont les entrees sont 
exclusivement connectees aux neurones d'entree et dont I'activation est basee sur les coordonnees d'un 
point de reference de I'hyper-espace qui est associe a ce neurone cache, et une couche de neurones de 
sortie correspondant chacun a une des classes, procede consistant, en partant d'un dispositif sans neurone 
cache, a prelever un echantillon quelconque dans le dit ensemble d'echantillons d'apprentissage, a placer 

w alors un premier neurone cache dans le dispositif en definissant le point de reference associe a ce neurone 
comme etant le point qui represente dans I'hyper-espace I'echantillon preleve et en disposant une 
connexion de poids positif entre ce neurone cache et le neurone de sortie correspondant a la classe de 
I'echantillon, puis a prelever un nouvel echantillon dans Pensemble et a I'appliquer au dispositif en tant 
qu'objet a classer et, si la reponse n'est pas correcte, a introduire dans le dispositif un nouveau neurone 

75 cache correspondant au nouvel echantillon en definissant le point de reference associe a ce neurone 
comme etant le point qui represente le nouvel echantillon et en disposant une connexion de poids positif 
entre le neurone cache et le neurone de sortie correspondant a la classe du nouvel echantillon, alors que si 
la reponse est correcte aucun neurone cache supplemental correspondant au nouvel echantillon n'est 
ajoute, et a traiter ious les echantillons restarts de la meme maniere jusqu'a ce' qu'il n'y ait plus 

20 d'echantillons dans I'ensemble. 

Elle concerne aussi un dispositif neuronal destine a classer des objets en J classes distinctes, les 
objets a classer 6tant definis par des vecteurs d'entree a K coordonnees represents par des points dans 
un hyper-espace a K dimensions, comportant une couche de neurones d'entree, en nombre K, correspon- 
dant chacun a une des dites dimensions, une couche de neurones de sortie, en nombre J, correspondant 

25 chacun a une des dites classes, et une couche de neurones caches dont I'activation est calculee en 
fonction des coordonnees dans I'hyper-espace d'un point de reference associe a chacun d'eux. 

Un dispositif ainsi construit est utilise notamment pour le classement d'objets, c'est-a-dire pour la 
reconnaissance d'objets : il s'agit par exemple de reconnaissance de formes et plus particulierement de 
reconnaissance de caracteres. 

30 Un tel mode de construction est connu du document "A neural model for categories learning" de 
Douglas .L Reilly et autres, dans "Biological Cybernetics" n'45, 35-41 (1982). Le reseau est construit par 
apprentissage incremental et la decision pour determiner la classe est prise sur la base d'une fonction a 
seuil variable qui definit dans un hyper-espace un volume de domination autour des echantillons. 

L'introduction plus ou moins aleatoire des echantillons peut neanmoins avoir pour consequence que, 

35 pour une fiabilite' suffisante, le nombre de neurones caches peut atteindre une valeur superieure a celle qui 
serait obtenue pour une definition optimale de ces neurones, avec de ce fait un temps de calcul plus long 
lors de I'utilisation du reseau. L'invention se propose de fournir un reseau qui, construit par ce procede, ait 
une tres grande rapidite lors de son utilisation. 

A cet effet, selon l'invention, des groupes de neurones avec un neurone representatif pour chaque 

40 groupe sont definis au fur et a mesure de l'introduction des neurones caches en recherchant, pour chacun 
des neurones introduits, s'il fait partie d'un groupe prealablement defini auquel cas il lui est incorpore, alors 
que s'il ne fait partie d'aucun groupe prealablement defini un nouveau groupe est forme dont il est le 
neurone representatif, le premier neurone introduit ayant done ete defini comme representatif d'un premier 
groupe. ' 

45 Dans ce procede, un neurone est avantageusement cohsidere comme faisant partie d'un groupe donne 
si la distance entre le point de reference associe a ce neurone et le point de reference associe au neurone 
representatif du groupe en question est inferieure a une distance donnee. 

Selon un perfectionnement, les groupes en question etant considered comme d'un premier niveau, on 
definit au moins une seconde distance donnee plus grande que la premiere, a partir de laquelle au moins 

50 des seconds groupes d'un second niveau sont definis au cours du m§me processus que les groupes du 
premier niveau. 

Lorsque deux neurones caches corresppndant a deux echantillons d'apprentissage ont des points 
representatifs dont les coordonnees sont voisines, mais que ces echantillons ne font neanmoins pas partie 
de la meme classe, une connexion de poids negatif est avantageusement ajoutee entre le neurone cache 
55 correspondant a un des echantillons et le neurone de sortie correspondant a la classe de I'autre echantillon. 
Ceci ameliore la fiabilite des resultats de classement. 

Lorsque I'activation des neurones caches est une fonction predetermined, et non pas ajustable, de la 
distance entre les points de reference, il se peut que la sensibilite du dispositif a des differences entre 
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certains echantillons soit trop faible pour les distinguer correctement I'un de I'autre. 

Pour resoudre ce probleme, un neurone cache supplemental, correspondant a un echantillon 
d'apprentissage, est avantageusement ajoute avec une liaison vers le neurone de sortie correspondant, si 
pour cet echantillon presente en tant qu'objet a classer un neurone de sortie est effectivement active pour 
5 la classe voulue, mais que la difference entre I'activite du neurone de sortie le plus active et celle du 
neurone de sortie dont I'activation est la plus forte apres celle du plus active est inferieure a un seuil 
predetermine. 

Le choix des valeurs d'activation des neurones caches et de la regie de selection determinant la classe 
en fonction de I'activation des neurones de sortie a, pour une organisation donnee du reseau, un impact 

io important sur les performances. Dans le document cite plus haut, I'utilisation d'une fonction d'activation des 
neurones caches nulle au dessous du seuil ne permet pas d'integrer de fagon progressive I'influence 
d'echantillons d'apprentissage "lointains", et I'utilisation de neurones "binaires" (en tout ou rien) dans la 
couche de sortie ne permet pas de prendre des decisions motivees. En outre on ne peut pas gerer une 
situation dans laquelle deux neurones de sortie sont simultanement actifs. 

75 C'est pourquoi le precede est plus avantageusement applique a un dispositif dont I'activation d'un 
neurone cache est une fonction decroissante, c'est-a-dire inverse de la distance geometrique dans I'hyper- 
espace entre le point de reference associe au neurone cache et le point representant le vecteur d'entree, 
dont la fonction d'activation d'un neurone de sortie est une fonction a seuil d'entree, et pour lequel la classe 
indiquee comme resultat est celle qui correspond au neurone de sortie le plus active a condition que la 

20 difference entre I'activite de ce dernier et celle du neurone de sortie dont I'activation est la plus forte apres 
celle du plus active soit superieure a une certaine valeur. 

Ceci a en outre I'avantage de pouvoir proposer non seulement un gagnant mais une liste de gagnants 
dans I'ordre decroissant de vraisemblance, ce qui est un avantage important en reconnaissance de 
caracteres ou Ton peut ensuite utiliser cette liste pour corriger des fautes a partir d'un dictionnaire. 

25 Un tel dispositif, dont les neurones caches et leurs points de reference associes ont ete determines et 
les neurones caches oht ete repartis en groupes avec dans chaque groupe un neurone representatif du 
groupe par le precede selon I'invention, est avantageusement muni de moyens pour, lors de la presentation 
d'un echantillon a classer, faire fonctionner dans un premier temps seulement les neurones caches 
representatifs, ceci pour tous les groupes, et determiner lequel prend la plus forte activation, puis pour faire 

30 • fonctionner, dans un deuxieme temps, tous les neurones caches du groupe ou des quelques groupes dont 
le(s) neurone(s) representatif(s) a (ont) fourni la plus forte activation dans le premier temps. 

Lorsque plusieurs niveaux de groupes ont ete defjnis, le dispositif est 'avantageusement muni de 
moyens pour, lors de la presentation d'un echantillon a classer, faire fonctionner dans un premier temps 
seulement les neurones caches representatifs des groupes d'un n feme niveau, et determiner lequel prend la 

35 plus forte activation, de moyens pour faire fonctionner dans un deuxieme temps seulement les neurones 
caches representatifs des groupes du (n-1) idme niveau contenus dans le groupe du n i§me niveau dont le 
neurone representatif a fourni la plus forte activation dans le premier temps, et determiner lequel prend la 
plus forte activation, et ainsi de suite jusqu'au premier niveau. 

Ce dispositif est en outre remarquable en ce que, pour chacun des neurones caches, I'activation est 

40 calculee sur la base de la distance dans I'hyper-espace entre un point de reference associe a ce neurone 
cache et le point representant le vecteur d'entree et il est muni a cet effet de moyens pour determiner 
I'activation d'un neurone cache d'indice "i" par la formule 



Activation = f( racine n i4roe ( E ((|X k - W ki | } n ) ) /a L ) 
k=0 

dans laquelle les W ki sont les K coordonnees de I'echantillon qui a entraine la creation du neurone "i", a-, 
so est un coefficient ajustable propre au neurone "i" les X k sont les K coordonnees d'un vecteur d'entree a 
classer, n est un nombre entier par exemple egal a deux, et la fonction "f " est une fonction qui grandit 
lorsque son argument tend vers zero, un neurone de sortie est tel qu'il soit active seulement au dela d'un 
certain seuil d'activation d'un neurone cache, et des moyens sont prevus pour indiquer comme resultat la 
classe qui correspond au neurone de la couche de sortie le plus active a condition que la difference entre 
55 I'activite de ce dernier et celle du neurone de sortie dont I'activation est la plus forte apres celle du plus 
active soit superieure a une certaine valeur. 

Avantageusement, ce dispositif est muni d'une connexion de poids negatif entre un neurone cache 
correspondant a un echantillon et un neurone de sortie correspondant a la classe d'un autre echantillon, 
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dans le cas ou deux neurones caches correspondant a deux echantillons d'apprentissage ont des points 
representatifs dont les coordonnees sont voisines, mais que ces echantillons ne font pas partie de la meme 
classe. 

Ces aspects de I'invention ainsi que d'autres aspects plus detailles apparaltront plus clairement grace a 
5 la description suivante d'un mode de realisation non limitatjf. 

La figure 1 represents schematiquement un reseau de neurones que I'invention permet de construire. 

La figure 2 illustre des points representatifs d'echantillons dans I'hyper-espace, deux dimensions etant 
representees parmi les K dimensions. 

Le dispositif neuronal dont le schema est represente sur la figure 1 est destine 1 a realiser des 
70 classements. On entend par la que, en presence d'une population d'objets qui peuvent etre repartis en 
classes distinctes, lorsqu'on presente la description d'un echantillon de cette population au dispositif, ce 
dernier determine a quelle classe appartient I'echantillon. Par exemple, les objets peuvent etre des lettres 
de I'alphabet presentees sous differentes formes ou apparences, et les classes sont : "lettre a", "lettre b", 
etc, 

75 Une donnee d'entree, qu'il s'agisse d'un dchantillon d'apprentissage dont la classe est connue, ou d'un 
echantillon dont la classe doit etre determined par le dispositif, se presente sous la forme d'un vecteur a K 
, coordonnees ou composantes, dans un hyper-espace a K dimensions. Dans le cas de lettres par exemple, 
on peut definir une zone dans laquelle la lettre est censee se trouver et analyser cette zone par points 
successifs, la luminance de chacun de ces points fournissant une des composantes du vecteur d'entree. 
20 Le dispositif comporte une couche de neurones d'entree U k , en nombre egal au nombre K des 
coordonnees d'un vecteur d'entree, a chacun desquels est amenee une valeur d'entree correspondant a 
I'une des composantes d'un vecteur d'entree. 

Chacun des neurones H ( d'une couche de neurones caches a une entree reliee a la sortie d'un des 
neurones d'entree U k . Pour ne pas encombrer la figure, seules sont representees les liaisons des neurones 
25 U vers un des neurones H, mais en realite tous les neurones U sont relies a tous les neurones H. Par 
contre aucune sortie d'un neurone cache n'est reliee a une entree d'un autre neurone cache. 

Le nombre H, des neurones caches est fonction de la difficulte du probleme de classement a resoudre, 
comme cela sera explique plus loin. 

Le dispositif comporte enfin une couche de neurones de sortie Oj, en nombre J, egal au nombre des 
30 classes. Plus loin sera explique' quels neurones caches H sont relief a quels neurones de sortie 0. 

L'activation d'un neurone cache Hi est calculee sur la base de la distance, dans I'hyper-espace, entre le 
point representant le vecteur d'entree applique aux neurones U k et un point de reference qui est associe au 
neurone Hi. 

' De tels points sont represent.es sur la figure 2. II s'agit d'une projection de I'espace sur le plan de la 
35 figure. Les points represented chacun un echantillon d'apprentissage. 

A chacun des points est associe un domaine represente par un petit cercle en trait plein, entourant le 
point. Ce cercle est le lieu des points qui sont a une distance donnee de I'echantillon. Cette distance est 
representee par la formule suivante : 



Distance (X,W) = racine n i4rae ( E (|X k - W ki |)) n 
k=0 



45 ou les X k sont les coordonnees d'un point de I'espace dont on cherche la distance et les W ki sont les K 
coordonnees du point correspondant au neurone H|, par rapport auquel on cherche la distance (X,W). Le 
nombre n, dans une metrique Euclidienne, est egal a 2 (dans ce cas il est inutile de prendre la valeur 
absolue de la difference X k - W ki ). Toute metrique peut etre employee, pourvu que dans cette metrique, on 
ait : 

50 

Distance (x,y) = distance (y,x) 

Distance (x,z) < = distance (x,y) + distance (y,z) 

La condition : distance (x,x) = 0 n'est pas necessaire. 
55 Pour construire un tel dispositif, il est connu de repartir les echantillons en amas ("clustering") et de 
mettre en place un seul neurone cache representant chaque amas. Tout le probleme consiste alors a 
determiner comment grouper les echantillons en amas pour ne pas trop perdre d'information et avoir la plus 
grande fiabilite possible pour les resultats de classification. Avec le proc6de de la presente invention, 
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I'elimination de ceux des echantillons qui n'ont pas besoin d'etre pris en compte se fait automatiquement et 
aucune information n'est perdue. 

On part d'un reseau qui ne comporte aucun neurone cache. On preleve d'abord n'importe quel 
Echantillon dans I'ensemble des echantillons d'apprentissage. Cet echantillon est done retire de I'ensemble 
5 : on ne le rencontrera plus a I'avenir. On place un premier neurone cache correspondant a cet echantillon 
et I'on definit I'activation de ce neurone en fonction de la position, dans I'hyperespace, du point 
representant I'echantillon, d'apres la formule : 



K-1 

Activation = f( racine n Ume ( E ((|X k - W kl | )") J/c^) 
k=0 



oCi les X k sont les coordonnees d'un vecteur d'entree a classer, la fonction f est une fonction qui grandit 
75 lorsque son argument tend vers zero, par exemple une fonction de type "exp(-x)" ou une fonction de type 
"1/(1 x! +a)", les W k1 sont les coordonnees du point 1 representant le premier echantillon, et a, est un 
coefficient ajustable propre au premier neurone. 

On relie ce neurone cache Hi au neurone de sortie Oj correspondant a la classe de I'echantillon. 
Ensuite on prend un second echantillon (par exemple au hasard) dans I'ensemble et on le retire de 
20 I'ensemble (pour ne plus le retrouver par le suite). On I'applique au dispositif en tant qu'objet a classer, et 
le dispositif indique done une classe dans laquelle il range I'echantillon. Deux cas sont possibles : soit cette 
classe est effectivement celle de ce second echantillon, soit elle ne Test pas. Si la classe est la bonne, on 
n'installe pas de neurone, et on poursuit le processus en prenant un troisieme echantillon. Dans le cas ou la 
classe indiquee n'est pas correcte, alors on place un second neurone cache dans le dispositif dont 
25 I'activation est definie par : 



Activation = f( racine n i4me ( S ((|X k - W k2 | ) n ) )/rj 2 ) 



les W k2 etant les coordonnees du point representant le second echantillon donnant lieu a la creation d'un 
neurone, et ai est un coefficient ajustable propre au second neurone, et on relie ce second neurone cache 
au neurone de sortie correspondant a la classe du second echantillon. 
35 On continue ainsi en prenant tour a tour dans un ordre quelconque tous les echantillons restants, en les 
appliquant au dispositif en tant qu'objets a classer, avec a chaque fois creation d'un nouveau neurone 
seulement si la classe indiquee n'est pas correcte, ce neurone ayant I'activation : 



Activation = f( racine n"™ ( E ((|X k - \ i \) n ))/o i ) 
k=0 



ou les W ki sont les coordonnees de I'echantillon qui a entraTne la creation du neurone i, a-, etant un 
45 coefficient ajustable propre au neurone i. 

On continue ainsi jusqu'a ce qu'il n'y ait plus d'echantillons dans I'ensemble. Le dispositif se construit 

done de lui meme en mettant en place les neurones caches et leurs liaisons avec les neurones de sortie. 

Plus la classe des exemples est difficile a determiner, e'est-a-dire plus le probleme est difficile, plus il y a 

d'exemples pour lesquels une bonne reponse n'est pas trouvee d'emblee (lorsque les exemples sont 
50 appliques au dispositif en tant qu'objets a classer), et plus le nombre de neurones caches introduits est 

grand. 

Dans le cas ou le reseau de neurones n'est pas reel, mais est simule sur un ordinateur conventionnel, 
les calculs determinant la classe d'un echantillon presente comme objet a classer sont particulierement 
rapides au debut du processus puisqu'il y a tres peu de neurones. Le processus ralentit ensuite au fur et a 
55 mesure de I'introduction de nouveaux neurones, mais il reste neanmoins globalement tres rapide. 

Considerons les points D et H voisins de la figure 2, et supposons qu'ils font partie de classes 
differentes. II est possible que, lors de leurs examens comme objets a classer, les resultats obtenus, du fait 
du voisinage, soient les memes pour ces deux points. Bien entendu, ce cas donne lieu a la creation d'un 
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neurone, au moins pour I'echantillon examine en second, mais il est en outre avantageux de completer le 
processus en ajoutant dans ce cas, en plus de la synapse normale etablie entre le neurone cache ainsi cree 
et le neurone de sortie de la classe trouvee par erreur, une synapse de poids negatif. Avec cette fagon de 
faire, le nombre total de synapses de sortie est alors au plus egal a deux fois le nombre de neurones 
5 caches. 

Avec le reseau tel que decrit jusqu'ici, lorsqu'un objet est presente pour §tre classe, toutes les 
distances (dans I'hyper-espace) entre le point correspondant a I'objet presente et les points correspondant 
a tous les neurones caches doivent etre determinees. En simulation sur un ordinateur conventionnel, ces 
operations sont coQteuses. Pour reduire le temps de calcul, il est propose de repartir les echantillons en 

70 groupes et dans un premier temps d'utiliser seulement les neurones caches representatifs d'un groupe, 
puis dans un deuxieme temps de rechercher une activation suffisante, ou bien la plus forte activation, parmi 
les neurones caches du groupe dont le neurone representatif a foumi la plus forte activation dans le premier 
temps. Ce processus en deux temps sera explique de fagon plus detaill6e plus loin. 

Dans I'exemple de la figure 2, les groupes sont delimites par des hyper-spheres A, B, C, qui sont 

75 definies au fur et a mesure de I'introduction des neurones caches, Pour cela, au cours du processus 
d'introduction des neurones caches, on recherche pour chacun des neurones introduits s'il fait partie d'un 
groupe prealablement defini auquel cas il. lui est incorpore, alors que s'il ne fait partie d'aucun groupe 
prealablement defini un nouveau groupe est forme dont il est le neurone representatif. Le premier neurone 
introduit est par consequent defini comme representatif du premier groupe. Un neurone est considere 

20 comme faisant partie d'un groupe donne si la distance entre le point de reference associe a ce neurone et 
le point de reference associe au neurone representatif du groupe en question est inferieure au rayon d'une 
hyper-sphere de rayon determine centree sur le point de reference correspondant au neurone representatif 
du groupe, autrement dit s'il est dans cette hyper-sphere. Le rayon en question est une grandeur de meme 
nature que le parametre a { defini plus haut. Ainsi par exemple on peut imaginer que, lors de la construction 

25 du reseau, le point F est rencontre le premier, aucun des autres points de I'hyper-sphere A n'ayant ete 
trouve jusque la. Une hyper-sphere A est alors definie, centree sur le point F. Lorsque le point E est 
rencontre, il ne fait pas partie de I'hyper-sphere A (ni d'aucune autre), done une hyper-sphere B est creee. 
Lorsqu'ensuite le point G est rencontre, comme il ne fait pas partie des hyper-spheres precedentes, 
I'hyper-sphere C est creee. Les autres points des hyper-spheres ont ete rencontres apres le point F pour ce 

30 qui concerne les points de I'hyper-sphere A, apres le point E pour ce qui concerne les points de I'hyper- 
sphere B, et apres le point G pour ce qui concerne les points de I'hyper-sphere C. II faut remarquer que si 
le point D par exemple avait ete rencontre avant le point G, une hypersphere aurait ete cr£ee avec le point 
D comme centre. Le point G y serait contenu, et de ce fait I'hyper-sphere C n'aurait pas ete creee. 

Ainsi done au cours du processus d'introduction des neurones caches, on regarde pour chaque 

35 exemple non seulement quelle est la reponse (le classement) fournie par le dispositif, mais encore, au cas 
ou cet exemple conduit a I'introduction d'un nouveau neurone, si le point correspondant est d£ja dans une 
hyper-sphere existante. La repartition en groupes est ainsi deja etablie a Tissue du processus principal sans 
que Ton ait a proceder a une passe supplemental. 

On constate que la fagon dont sont definis les groupes depend de I'ordre dans lequel sont rencontres 

40 les echantillons d'apprentissage, le hasard intervenant done dans le processus. Des hyper-spheres peuvent 
ainsi etre amenees a se recouper. Par exemple, le point H est defini indifferemment comme faisant partie 
du groupe B ou du groupe C selon que, lors du calcul des distances du point H aux centres des 
hyperspheres, le point E ou le point G a ete rencontre le premier. On a constate que ceci n'avait pas 
d'inconvenient et ne diminuait pas les performances du dispositif final, notamment grace au mode 

45 d'utilisation de ce dernier. 

On a decrit ci-dessus une maniere de definir un certain niveau de groupement des neurones caches. 
On entend par "niveau de groupement" le fait qu'un groupe comprenne un plus ou moins grand nombre de 
neurones, autrement dit que le rayon de I'hyper-sphere definissant le groupe est plus ou moins grand. II est 
clair qu'un deuxieme niveau ou plusieurs autres niveaux pourraient etre determines de la meme fagon sans 

50 difficultes. II suffirait a cet effet de definir un ou plusieurs autres rayons (de plus en plus grands) pour des 
hyper-spheres centrees sur le point de reference correspondant au neurone representatif d'un groupe (le 
critere d'appartenance a un groupe etant le fait pour un point d'§tre dans cette hyper-sphere), et a partir 
desquels des groupes de plusieurs niveaux pourraient etre definis au cours du meme processus. 
Lorsque Ton utilise le dispositif, la classe d'un echantillon est determinee de la maniere suivante: 

55 - dans un premier temps on utilise seulement les neurones caches representatifs d'un groupe, par 
exemple tous les neurones correspondant aux points situes dans la meme hyper-sphere A sont, 
representes par le neurone cache F, ceux situes dans la meme hyper-sphere B sont representes par 0 
le neurone cache E, et ceux situes dans la m§me hypersphere C sont representes par le neurone 
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cache G, et on determine celui qui prend la plus forte activation, 
- puis dans un deuxieme temps on calcule I'activation des autres neurones du groupe dont le neurone 
representatif a fourni la plus forte activation dans le premier temps, et des que Ton trouve un neurone 
dont I'activation depasse un' seuil donne (autrement dit lorsque le point representatif de l'echantillon 

5 est compris dans une hyper-sphere de rayon donne centree sur le point representatif du neurone) on 

considere ce neurone comme etant le gagnant. Au lieu de s'arreter des ce moment, on peut aussi 
etendre la recherche, en cherchant la plus forte activation parmi tous les neurones caches du groupe 
dont le neurone representatif a fourni la plus forte activation dans le premier temps. Si c'etait par 
exemple le groupe C, il est possible que dans le deuxieme temps ce soit le neurone correspondant 

70 au point D qui prenne la plus forte activation. II faut bien voir qu'il est parfaitement possible que ce 

point D ne fasse pas partie de la meme classe que le point G. L'echantillon d'entree sera alors classe 
dans la classe du point D. C'est notamrrient pour cela que le cote aleatoire de la determination des 
groupes n'a finalement pas d'inconvenient. 
II est clair que ce processus s'applique aisement au cas ou il y a plus de deux niveaux de groupement 

15 des neurones caches, en traitant les niveaux tour a tour dans I'ordre decroissant de la dimensions des 
groupes correspondants. 

Quand on ajoute, en plus d'une synapse normale etablie entre un neurone cache et un neurone de 
sortie, une synapse de poids negatif pour des echantillons d'apprentissage qui ont des points representatifs 
voisins, mai§ qui ne font pas partie de la meme classe, la regie pour determiner si ces points sont voisins 

20 peut par exemple etre que les deux exemples de classes differentes font partie du meme groupe. 

On comprend aisement que le temps de calcul est reduit, puisque si par exemple il y a 900 neurones 
caches divises en 30 groupes de 30 neurones, on aura a calculer 30+30 activations au lieu de 900. 

On peut en outre etendre la recherche en recherchant la plus forte activation non pas parmi les 
neurones caches d'un seul groupe, mais parmi ceux des quelques groupes dont les neurones representatifs 

25 ont fourni les plus fortes activations dans le premier temps. Cela allonge un peu le calcul mais procure plus 
de sdcurite. On peut par exemple choisir arbitrairement un nombre predetermine de groupes dont on 
considerera tous les neurones au cours du deuxieme temps, ou blen fixer un seuil d'activation minimal au 
cours du premier temps pour etre "admis" lors du deuxieme temps. 

Un autre moyen d'etendre la recherche est de "forcer" un rayon plus grand que le rayon choisi au 

30 depart, pour I'hyper-sphere definissant un groupe d'un niveau determine. 

Lorsque Ton relie un neurone cach6 au neurone de sortie adequat, on installe arbitrairement un poids 
positif qui est done le meme pour toutes ces liaisons. Les poids en question, ainsi que les coefficients 
ajustables a h peuvent etre affines ulterieurement, lorsque tous les neurones caches sont installes, par 
exemple au moyen d'un processus connu de retro-propagation de I'erreur, qui ne demande pas un temps 

35 d'execution excessif, du fait que Ton dispose deja d'une solution approchee. De plus on peut utiliser la 
repartition en groupes pour accelerer le processus de retro-propagation de I'erreur. Dans un tel processus, 
on presente un echantillon a I'entree, on evalue le reseau (propagation), on calcule I'erreur, puis on la 
"retro-propage" en modifiant les poids au fur et a mesure. Avec la repartition en groupes, on gagne du 
temps a revaluation puisqu'on n'evalue qu'une partie du reseau, mais on en gagne aussi lors de la retro- 

40 propagation puisqu'on ne modifie pas tous les poids et les a t du reseau mais seulement ceux qui 
concernent les sorties reliant les neurones caches du ou des groupe(s) utile(s), dont on avait memorise la 
liste au cours de la propagation. 

Pour limiter les inconvenients eventuels dOs au fait que les neurones caches ont ete crees un peu au 
hasard il est en outre possible, une fois le dispositif termine, de mettre en oeuvre un processus 

45 "d'elagage", aux fins d'enlever des neurones superflus. Ceci peut se faire par exemple en proposant a 
nouveau les exemples d'apprentissage comme echantillons a reconnaltre, mais en desactivant a chaque 
fois le neurone cache qui avait ete mis en place a propos de cet exemple. Si le resultat est neanmoins 
correct, on supprime alors ce neurone. 

50 Revendications 

1. Procede pour construire un dispositif neuronal destine au classement d'objets, au moyen d'un 
ensemble d'echantillons d'apprentissage ou exemples qui sont des objets dont la classe est connue, 
chaque objet a classer etant defini par un vecteur d'entree represents par un point dans un hyper- 
55 espace, le dispositif comportant une couche de neurones d'entree correspondant chacun a une des 
dimensions de I'hyper-espace, une couche de neurones caches dont les entrees sont exclusivement 
connectees aux neurones d'entree et dont I'activation est basee sur les coordonnees d'un point de 
reference de I'hyper-espace qui est associe a ce neurone cache, et une couche de neurones de sortie 
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correspondant chacun a une des classes, procede consistant, en partant d'un dispositif sans neurone 
cache, a prelever un echantillon quelconque dans le dit ensemble d'echantillons d'apprentissage, a 
placer alors un premier neurone cache dans le dispositif en d6finissant le point de reference associe a 
ce neurone comme etant le point qui represente dans I'hyper-espace I'echantillon preleve et en 

5 disposant une connexion de poids positif entre ce neurone cache et le neurone de sortie correspondant 
a la classe de I'echantillon, puis a prelever un nouvel echantillon dans I'ensemble et a I'appliquer au 
dispositif en tant qu'objet a classer et, si la reponse n'est pas correcte, a introduire dans le dispositif un 
nouveau neurone cache correspondant au nouvel echantillon en definissant le point de reference 
associe a ce neurone comme etant le point qui represente le nouvel echantillon et en disposant une 

70 connexion de poids positif entre le neurone cache et le neurone de sortie correspondant a la classe du 
nouvel echantillon, alors que si la reponse est correcte aucun neurone cache supplemental corres- 
pondant au nouvel echantillon n'est ajoute, et a traiter tous les echantillons restants de la meme 
maniere jusqu'a ce qu'il n'y ait plus d'echantillons dans I'ensemble, caracterise en ce que des groupes 
de neurones avec un neurone representatif pour chaque groupe sont definis au fur et a mesure de 

75 I'introduction des neurones caches en recherchant, pour chacun des neurones introduits, s'il fait parfie 
d'un groupe prealablement defini auquel cas il lui est incorpore, alors que s'il ne fait partie d'aucun 
groupe prealablement defini un nouveau groupe est forme dont il est le neurone representatif, le 
premier neurone introduit ayant done ete defini comme representatif d'un premier groupe. 

20 2. Procede selon la revendication 1, caracterise en ce qu'un neurone est considere comme faisant partie 
d'un groupe donne si la distance entre le point de reference associe a ce neurone et le point de 
reference associe au neurone representatif du groupe en question est inferieure a une distance donnee. 

3. Procede selon la revendication 2 caracterise en ce que, les groupes en question etant considered 
25 comme d'un premier niveau, on definit au moins une seconde distance donnee plus grande que la 

premiere, a partir de laquelle au moins des seconds groupes d'un second niveau sont definis au cours 
du m§me processus que les groupes du premier niveau. 

4. ProcedS selon I'une quelconque des revendications 1 a 3, caracterisS en ce que, lorsque deux 
30 neurones caches correspondant a deux echantillons d'apprentissage ont des points representatifs dont 

les coordonnees sont voisines, mais que ces echantillons ne font neanmoins pas partie de la meme 
classe, une connexion de poids negatif est ajoutee entre le neurone cache correspondant a un des 
echantillons et le neurone de sortie correspondant a la classe de I'autre echantillon. 

35 5. Procede selon I'une quelconque des revendications 1 a 4, caracterise en ce qu'un neurone cache 
supplemental, correspondant a un echantillon d'apprentissage, est ajoute avec une liaison vers le 
neurone de sortie correspondant, si pour cet echantillon presente en tant qu'objet a classer un neurone 
de sortie est effectivement active pour la classe voulue, mais que la difference entre I'activite du 
neurone de sortie le plus active et celle du neurone de sortie dont I'activation est la plus forte apres 

40 celle du plus active 1 est inferieure a un seuil predetermine. 

6. Dispositif neuronal destine a classer des objets en J classes distinctes, les objets a classer etant 
definis par des vecteurs d'entree a K coordonnees represent.es par des points dans un hyper-espace a 
K dimensions, comportant une couche de neurones d'entree, en nombre K, correspondant chacun a 

45 une des dites dimensions, une couche de neurones de sortie, en nombre J, correspondant chacun a 
une des dites classes, et une couche de neurones caches dont I'activation est calculee en fonction des 
coordonnees dans I'hyper-espace d'un point de reference associe a chacun d'eux, caracterise en ce 
que les neurones caches et leurs points de reference associes ayant ete determines et les neurones 
caches ayant ete repartis en groupes avec dans chaque groupe un neurone representatif du groupe par 

50 le procede selon la revendication 1 , I'activation d'un neurone cache etant une fonction inverse de la 
distance geometrique dans I'hyper-espace entre le point de reference associe au neurone cache et le 
point representant le vecteur d'entree, la fonction d'activation d'un neurone de sortie etant une fonction 
a seuil d'entree, et la classe indiquee comme resultat etant celle qui correspond au neurone de sortie 
le plus active a condition que la difference entre I'activite de ce dernier et celle du neurone de sortie 

55 dont I'activation est la plus forte apres celle du plus active soit superieure a une certaine valeur, il est 
muni de moyens pour, lors de la presentation d'un echantillon a classer, faire fonctionner dans un 
premier temps seulement les neurones caches representatifs des groupes, et determiner lequel prend 
la plus forte activation, puis pour faire fonctionner, dans un deuxieme temps, tous les neurones caches 
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du groupe ou des quelques groupes dont le(s) neurone(s) representatif(s) a (ont) fourni la plus forte 
activation dans le premier temps. 

7. Dispositif selon la revendication 6, caracterise en ce que, les neurones caches ayant ete en outre 
5 repartis en plusieurs groupes par le procede selon ia revendication 3, il est muni de moyens pour, lors 

de la presentation d'un echantillon a classer, faire fonctionner dans un premier temps seulement les 
neurones caches representatifs des groupes d'un n feme niveau, et determiner lequel prend la plus forte 
activation, de moyens pour faire fonctionner dans un deuxieme temps seulement les neurones caches 
representatifs des groupes du (n-1) idme niveau contenus dans le groupe du n i§me niveau dont le neurone 
io representatif a fourni la plus forte activation dans le premier temps, et determiner lequel prend la plus 
forte activation, et ainsi de suite jusqu'au premier niveau. 

8. Dispositif neuronal selon I'une des revendications 6 ou 7, caracterise en ce que, pour chacun des 
neurones caches, I'activation est calculee sur la base de la distance dans I'hyper-espace entre un point 

75 de reference associe a ce neurone cache et le point representant le vecteur d'entree et il est muni a 
cet effet de moyens pour determiner I'activation d'un neurone cache d'indice "i" par la formule : 



Activation = f( racine n i6ne ( E ((|X k - \ i \) n ))/a l ) 
k=0 

dans laquelle les W k | sont les K coordonnees de I'echantillon qui a entraTne la creation du neurone "i", 
oi est un coefficient ajustable propre au neurone "i", les X k sont les K coordonnees d'un vecteur 

25 d'entree a classer, n est un nombre entier, et la fonction "f" est une fonction qui grandit lorsque son 
argument tend vers zero, un neurone de sortie est tel qu'il soit active seulement au dela d'un certain 
seuil d'activation d'un neurone cache, et des moyens sont pr6vus pour indiquer comme resultat la 
classe qui correspond au neurone de la couche de sortie le plus active a condition que la difference 
entre I'activite de ce dernier et celle du neurone de sortie dont I'activation est la plus forte apres celle 

30 du plus active soit superieure a une certaine valeur. 

9. Dispositif selon la revendication precedente, caracterise en ce que le nombre entier n est egal a deux. 

10. Dispositif selon I'une quelconque des revendications 6 a 10, caracterise en ce qu'il est muni d'une 
35 connexion de poids negatif entre un neurone cache correspondant a un echantillon et un neurone de 

sortie correspondant a la classe d'un autre echantillon, dans le cas ou deux neurones caches 
correspondant a deux echantillons d'apprentissage ont des points representatifs dont les coordonnees 
sont voisines, mais que ces echantillons ne font pas partie de la m§me classe. 

40 
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